Kylin 新手必看:Cube 越用越好,存储越用越少
本文作者:
薛开琪,Kyligence 产品经理 & Scrum Master,Apache Kylin Contributor,帮助管理 Kylin Sprint 和 JIRA issue,并为 Kylin 贡献了许多优质内容和文档的改进。
Kylin 通过预计算技术加速大数据分析,但是依赖预计算,将所有可能分析的维度组合对应的数据都存储下来,会带来一定的存储压力和性能瓶颈。因此,如何剪枝优化 Cuboid,旨在花费尽量少的存储空间即可获得符合预期的查询效率,是运维好 Kylin 的必修课。
通常情况下,用户可以通过人工剪枝优化 Cuboid,但由于分析场景的多变性和复杂性,经过人工剪枝优化后的 Cuboid 不一定能够满足所有分析场景。Cube Planner 使得 “剪枝” 这件事变得更自动化、更简单,它能够根据原始数据特征和用户的查询习惯自动地、持续地优化 Cube。
在之前的初入门系列视频中,我们已经分享了 Kylin 三步入门,平衡查询性能和资源消耗和业务指标分析等内容。本次将由来自 Kyligence 的薛开琪,为大家带来 Cuboid 剪枝优化的相关介绍。下面这个视频你可以 get 到 Cuboid 剪枝优化的方法,尤其是 Cube Planner 和 System Cube 的原理及使用方法,还有更多 Cuboid 剪枝优化实战中的建议,助力你更好地运维 Cube!
视频亮点
从 0 到 1 介绍 Cuboid 剪枝优化的必要性,展示从静态规则优化到动态调整优化的演进过程
图文结合,通俗易懂,即使对 Kylin 了解不多,看了也能理解 Cube Planner 和 贪心算法 的原理
详细介绍了 Cube Planner 和 System Cube 的依赖关系,列出相关配置和使用建议,方便大家灵活使用
分享了多种 Cuboid 剪枝优化实战中的建议与操作方法,例如通过 “parent_forward” 与 MDC 的结合,优化查询模式难以预测的分析场景
逐步、完整地演示了使用 Cube Planner 进行 Cuboid 剪枝优化的全过程,包括 System Cube 的启用方法
看了就能减少 Cube 存储空间,提升分析师查询效率的 B 站视频请👇
没办法看视频的小伙伴也不要担心,我们还精心准备了文字稿,需要请戳 Kylin 的官方 wiki:
Cuboid Pruning Optimization in Kylin:
https://cwiki.apache.org/confluence/display/KYLIN/Cuboid+Pruning+Optimization+In+Kylin_CN
System Cube Introduction:
https://cwiki.apache.org/confluence/display/KYLIN/System+Cube+Introduction_CN
Kylin 初入门系列更多文章和视频,
请大家持续关注,敬请期待哦!
更多入门好文
圣
诞
快
乐
Kylin 社区祝大家圣诞节快乐!
圣诞节也不要忘了学习哦!
点击“阅读原文”,直达 Kylin 官方 wiki